Giám mục Giuse Ngô Quang Kiệt sinh ngày 4 tháng 9 năm 1952 tại Mỹ Sơn (nay thuộc phường Vĩnh Trại, thành phố Lạng Sơn), tỉnh Lạng Sơn và có tên thánh là Giuse (Joseph) theo nghi thức rửa tội của người Công giáo.[10] Quê gốc của ông là tại Giáo xứ Quần Cống – Giáo phận Bùi Chu (nay thuộc xã Thọ Nghiệp, huyện Xuân Trường, tỉnh Nam Định).[11][12] Gia đình ông gồm có chín người con, trong đó có 6 nam và 3 nữ, Tổng giám mục Kiệt là con thứ 6 trong gia đình, hiện phần lớn anh chị em của ông đang định cư tại Hoa Kỳ.[13] Thân mẫu ông là bà Maria Phạm Thị Chín.[14] Ngô Quang Kiệt cũng là hậu duệ 4 đời của ba vị Thánh của Giáo xứ Quần Cống là Thánh Đa Minh Phạm Trọng Khảm, Luca Phạm Trọng Thìn và Giuse Phạm Trọng Tả.[12]

Năm 1954, gia đình cậu bé Kiệt di cư vào miền Nam sau khi Hiệp định Giơ-ne-vơ được kí kết.[15][16] Vào Nam, Ngô Quang Kiệt chọn sống đời sống tu trì nên gia đình đưa cậu vào học trung học tại Tiểu chủng viện Thánh Têrêsa, thuộc Giáo phận Long Xuyên vào ngày 21 tháng 8 năm 1964, cũng trong ngày này, cậu bé Giuse Vũ Duy Thống cũng được gia đình cho học tại đây và hai cậu nhanh chóng trở thành đôi bạn thân thiết.[15][17] Tốt nghiệp Tiểu chủng viện năm 1972, chủng sinh Kiệt tiếp tục theo học theo bậc đại học chuyên về triết học và thần học tại Đại chủng viện Thánh Tôma và tốt nghiệp tại đây năm 1978.[18] Song song với con đường tu học, sau năm 1975, tình hình trở nên khó khăn, chủng sinh Ngô Quang Kiệt làm rất nhiều công việc khác nhau để kiếm sống, từ người nuôi ong cho đến thợ sửa dụng cụ điện.[19] Phó tế Giuse sau sự kiện thống nhất Việt Nam nên không thể thụ phong linh mục, trong thời gian chờ được thụ chức, ông phục vụ 13 năm tại Nhà thờ chính tòa Giáo phận Long Xuyên.[18]